這篇教學會運用 Poe AI 裡的 OpenAI GPT-4o 和 GPT-4o-mini 機器人,讀取本機圖片或網路上的圖片,進行圖片的分析,進一步撰寫產生類似圖片的提示詞,甚至可以讀取具有圖表的圖片,分析圖表內容轉換成表格呈現。
GPT-4o 是 OpenAI 在 2024 年中所推出最強大的語言模型,不僅資料庫更新至 2023 年 10 月,更能讀取網頁和圖片進行分析,而 GPT-4o-mini 雖然屬於 GPT-4o 的小型模型,卻也同樣具備讀取網頁和分析圖片的功能,還具有速度快、費用低、跨平台等優勢,就算參數量不如 GPT-4o,卻更適合一般人使用。
GPT-4o | GPT-4o-mini | |
---|---|---|
每則訊息費用 | 300 | 15 |
讀取網頁 | 可以 | 可以 |
讀取圖片 | 可以 | 可以 |
速度 | 普通 | 快 |
語意理解與回覆能力 | 極佳 | 好 |
Official bot 官方機器人裡可以看見 GPT-4o 和 GPT-4o-mini 機器人,由於 GPT-4o 每則訊息費用高達 300,通常直接使用 GPT-4o-mini 就能處理所有問題 ( 如果有進階需求就另當別論 ),點擊機器人就可以開始和機器人聊天。
- GPT-4o:https://poe.com/GPT-4o
- GPT-4o:https://poe.com/GPT-4o-Mini
從機器人資訊中可以看到兩者的消耗的 Poe 代幣差了 20 倍。
對於一般使用者來說,各種大型語言模型機器人都大同小異,但 GPT-4o 和 GPT-4o-mini 卻能讀取上傳的圖片內容或網路圖片內容,下方範例使用 GPT-4o-mini 機器人,上傳一張「我就讚」的經典迷因圖片,並詢問機器人這張圖片是什麼內容 ( 使用 GPT-4o 也是相同的做法,但因為消耗的 Poe 代幣太高,所以使用 GPT-4o-mini )。
初次使用時,有可能會遇到類似下圖,機器人回應「不知道是什麼」的狀況,通常只要改變問句方式就能解決。
嘗試修改問句的結構,將問題改成「幫我描述這張圖片的主題或場景
」,GPT-4o-mini 機器人就會分析圖片並回答,結果也相當準確。
換成寶可夢的動漫角色,GPT-4o-mini 竟然也能精準的描述出正確的名字和構圖。
除了使用上傳的功能上傳圖片,由於 GPT-4o-mini 具有讀取網址的功能,也可以直接提供圖片網址,搭配「幫我描述這張圖片的主題或場景
」提示詞,讀取圖片內容,範例使用 STEAM 教育學習網的一張圖片,GPT-4O-mini 機器人可以精準讀取內容。
既然能夠讀取圖片內容,就能運用 GPT-4o-mini 協助撰寫「產生圖片的提示詞」,下方範例上傳了「我就讚」的迷因圖片,並使用「根據這張圖片的主題和場景,撰寫一段要透過 AI 產生類似圖片的中英文提示詞
」作為提示,機器人就會撰寫產生類似圖片的提示詞。
運用 Poe AI 的 Playground v2.5 機器人 ( 參考 Poe 生成圖片機器人 ),貼上剛剛產生的提示詞,就會產生一張類似的圖片。
運用 CPT-4o-mini 強大的圖取圖片能力,如果遇到「看不懂」的說明文字,也可以拍照上傳請機器人進行分析和重點整理,舉例來說,下圖是一張日本神戶動物世界的說明標語。
上傳圖片後,使用「請協助分析這張圖片所描述的內容,並用中文進行重點整理描述
」提示詞,機器人就會分析圖片內容,並進行中文的重點整理。
除了辨識文字,GPT-4o-mini 機器人甚至可以讀取圖表,將圖表轉換成表格呈現,下圖是 2024 台灣總統大選最後的票圖表。
上傳圖片後,使用「請協助解析這張圖表,並用表格方式呈現
」提示詞,機器人就會分析圖片內容,擷取出圖表的部分進行整理。
GPT-4o 和 GPT-4o-mini 讀取和分析圖片的能力非常好用,除了產生產生類似圖片的提示詞,更能真正分析圖片內容,協助使用者快速處理圖片裡的資訊,這也是未來應用 AI 的一大重點!
大家好,我是 OXXO,是個即將邁入中年的斜槓青年,我有個超過一千三百篇教學的 STEAM 教育學習網,有興趣可以參考下方連結呦~ ^_^